Ipsen đã kết hôn 4 lần: lần đầu với nam diễn viên Jacob Texière năm 1910, nhưng ly hôn trong cùng năm. Năm 1914, bà tái hôn với kỹ sư H.H.O. Moltke, và ly hôn sau 3 năm chung sống. Năm 1919 bà tái hôn với đạo diễn phim Emanuel Gregers trong 4 năm, rồi ly hôn và lại tái hôn lần thứ tư năm 1932 với nhà báo Ejnar Black. Cuộc hôn nhân này kéo dài 17 năm cho tới khi Black qua đời năm 1949. Sau cái chết của Black, bà sống cách biệt mọi người, chỉ làm bạn với người quản gia kiêm phụ tá Stella Jensen.[8]